在本文中,我们提出了一个模型,以执行语音转换为歌声。与以前的基于信号处理的方法相反,基于信号处理的方法需要高质量的唱歌模板或音素同步,我们探索了一种数据驱动的方法,即将自然语音转换为唱歌声音的问题。我们开发了一种新型的神经网络体系结构,称为Symnet,该结构将输入语音与目标旋律的一致性建模,同时保留了说话者的身份和自然性。所提出的符号模型由三种类型层的对称堆栈组成:卷积,变压器和自发层。本文还探讨了新的数据增强和生成损耗退火方法,以促进模型培训。实验是在NUS和NHSS数据集上进行的,这些数据集由语音和唱歌语音的平行数据组成。在这些实验中,我们表明所提出的SYMNET模型在先前发表的方法和基线体系结构上显着提高了客观重建质量。此外,主观听力测试证实了使用拟议方法获得的音频质量的提高(绝对提高了0.37的平均意见分数测度量度比基线系统)。
translated by 谷歌翻译